志方城は市易城とも呼ばれ、城の規模は、現在の当観音寺の境内を本丸とし、本丸を囲む内堀の周囲二の丸（志方小学校所在のあたり）とかなりの規模の城であった。この城の城主、櫛橋家は藤原氏の末裔で伊朝より五代の孫櫛橋左京亮則伊は、赤松政則に仕えて大いに重ぜられて祖父の例にならって播備作三国の財産出納の役をつとめ文明13年（1481）志方、天神山に城を築き、ついて明応元年（1492）この地に志方城を築いた。以来伊家、伊定と父子三代88年間続いたが、天正7年8月10日羽柴秀吉の攻略にあって落城した。